El valor de p del test no es un ‘índice matemático’, es simplemente una frecuencia relativa / The p-value of the test is not a ‘mathematical index’, it is simply a relative frequency

Las revistas científicas más importantes en campos como medicina, biología y sociología publican reiteradamente artículos y editoriales denunciando que un gran porcentaje de médicos no entiende los conceptos básicos del análisis estadístico, lo que favorece el riesgo de cometer errores al interpretar los datos, los hace más vulnerables frente a informaciones falsas y reduce la eficacia de la investigación. Este problema se extiende a lo largo de toda su carrera profesional y se debe, en gran parte, a una enseñanza deficiente en estadística que es común en países desarrollados. En palabras de H. Halle y S. Krauss, ‘el 90% de los profesores universitarios alemanes que usan con asiduidad el valor de p de los test no entiende lo que mide ese valor’. Es importante destacar que los razonamientos básicos del análisis estadístico son similares a los que realizamos en nuestra vida cotidiana y que comprender los conceptos básicos del análisis estadístico no requiere conocimiento matemático alguno. En contra de lo que muchos investigadores creen, el valor de p del test no es un ‘índice matemático’ que nos permita concluir claramente si, por ejemplo, un fármaco es más efectivo que el placebo. El valor de p del test es simplemente un porcentaje.(AU)

Abstract. Leading scientific journals in fields such as medicine, biology and sociology repeatedly publish articles and editorials claiming that a large percentage of doctors do not understand the basics of statistical analysis, which increases the risk of errors in interpreting data, makes them more vulnerable to misinformation and reduces the effectiveness of research. This problem extends throughout their careers and is largely due to the poor training they receive in statistics – a problem that is common in developed countries. As stated by H. Halle and S. Krauss, ‘90% of German university lecturers who regularly use the p-value in tests do not understand what that value actually measures’. It is important to note that the basic reasoning of statistical analysis is similar to what we do in our daily lives and that understanding the basic concepts of statistical analysis does not require any knowledge of mathematics. Contrary to what many researchers believe, the p-value of the test is not a ‘mathematical index’ that allows us to clearly conclude whether, for example, a drug is more effective than a placebo. The p-value of the test is simply a percentage.(AU)

[The p-value of the test is not a 'mathematical index', it is simply a relative frequency]. / El valor de p del test no es un 'índice matemático', es simplemente una frecuencia relativa.

Leading scientific journals in fields such as medicine, biology and sociology repeatedly publish articles and editorials claiming that a large percentage of doctors do not understand the basics of statistical analysis, which increases the risk of errors in interpreting data, makes them more vulnerable to misinformation and reduces the effectiveness of research. This problem extends throughout their careers and is largely due to the poor training they receive in statistics - a problem that is common in developed countries. As stated by H. Halle and S. Krauss, '90% of German university lecturers who regularly use the p-value in tests do not understand what that value actually measures'. It is important to note that the basic reasoning of statistical analysis is similar to what we do in our daily lives and that understanding the basic concepts of statistical analysis does not require any knowledge of mathematics. Contrary to what many researchers believe, the p-value of the test is not a 'mathematical index' that allows us to clearly conclude whether, for example, a drug is more effective than a placebo. The p-value of the test is simply a percentage.

TITLE: El valor de p del test no es un 'índice matemático', es simplemente una frecuencia relativa.Las revistas científicas más importantes en campos como medicina, biología y sociología publican reiteradamente artículos y editoriales denunciando que un gran porcentaje de médicos no entiende los conceptos básicos del análisis estadístico, lo que favorece el riesgo de cometer errores al interpretar los datos, los hace más vulnerables frente a informaciones falsas y reduce la eficacia de la investigación. Este problema se extiende a lo largo de toda su carrera profesional y se debe, en gran parte, a una enseñanza deficiente en estadística que es común en países desarrollados. En palabras de H. Halle y S. Krauss, 'el 90% de los profesores universitarios alemanes que usan con asiduidad el valor de p de los test no entiende lo que mide ese valor'. Es importante destacar que los razonamientos básicos del análisis estadístico son similares a los que realizamos en nuestra vida cotidiana y que comprender los conceptos básicos del análisis estadístico no requiere conocimiento matemático alguno. En contra de lo que muchos investigadores creen, el valor de p del test no es un 'índice matemático' que nos permita concluir claramente si, por ejemplo, un fármaco es más efectivo que el placebo. El valor de p del test es simplemente un porcentaje.

[The dramatic loss of statistical power when dichotomising continuous variables]. / La dramática pérdida de potencia estadística al dicotomizar variables continuas.

A very common practice in medical research, during the process of data analysis, is to dichotomise numerical variables in two groups. This leads to the loss of very useful information that can undermine the effectiveness of the research. Several examples are used to show how the dichotomisation of numerical variables can lead to a loss of statistical power in studies. This can be a critical aspect in assessing, for example, whether a therapeutic procedure is more effective or whether a certain factor is a risk factor. Dichotomising continuous variables is therefore not recommended unless there is a very specific reason to do so.

TITLE: La dramática pérdida de potencia estadística al dicotomizar variables continuas.Una práctica muy habitual en la investigación médica, durante el proceso de análisis de los datos, es dicotomizar variables numéricas en dos grupos. Dicha práctica conlleva la pérdida de información muy útil que puede restar eficacia a la investigación. A través de varios ejemplos, se muestra cómo con la dicotomización de variables numéricas los estudios pierden potencia estadística. Esto puede ser un aspecto crítico que impida valorar, por ejemplo, si un procedimiento terapéutico es más efectivo o si un determinado factor es de riesgo. Por tanto, se recomienda no dicotomizar las variables continuas si no existe un motivo muy concreto para ello.

Mitos y realidad en el cálculo del tamaño muestral / Myths and reality about calculating sample size

Cuando decidimos hacer un estudio, una de las primeras cuestiones que se plantea es ¿qué número de individuos debo incluir en la muestra para que sea ‘representativa’ y el estudio sea ‘válido’? Como en otros ámbitos de la vida, hay muchas cuestiones para las que no hay una cantidad ‘adecuada’ y son válidas diferentes cantidades. Aquí ocurre lo mismo. La pregunta ‘¿cuántos euros costó esta bicicleta?’ tiene como respuesta un número concreto. Pero la pregunta ‘¿cuántos euros necesito para comprar una bicicleta?’ admite muchas cifras distintas como respuesta, dependiendo del tamaño y otras características de la bicicleta. Los libros de estadística contienen fórmulas que relacionan el tamaño de la muestra con ciertos parámetros y la mayoría de los médicos cree que una de ellas les dará el tamaño ‘adecuado’ para su investigación, y que usándolas queda ‘justificado el tamaño de la muestra’ ante posibles revisores. En este documento se hace una reflexión sobre el verdadero peso que tienen dichas fórmulas y cuál debe ser el uso adecuado que el investigador haga de ellas. Es necesario mostrar errores y simulaciones que no benefician a nadie y perjudican a muchos restando tiempo y energía.(AU)

When we decide to conduct a study, one of the first questions that arises is what number of individuals should be included in the sample for it to be ‘representative’ and for the study to be ‘valid’? As in other areas of life, there are many matters for which there is no ‘right’ amount and different quantities are valid. The same applies here. When asked the question ‘How many euros did this bicycle cost?’, the answer is a definite number. But the question ‘How many euros do I need to buy a bicycle?’ can be answered in many different ways, depending on the size and other characteristics of the bicycle. Statistics textbooks contain formulas relating sample size to certain parameters and most doctors believe that one of these will give them the ‘right’ size for their research, and that by using them their choice of sample size will be justified in the eyes of potential reviewers. This document reflects on the true value of these formulas and how researchers should make proper use of them. It is necessary to show errors and simulations that benefit no one and hinder many by taking up large amounts of time and energy.(AU)

Potencia estadística en investigación médica. ¿Qué postura tomar cuando los resultados de la investigación son significativos? / Statistical power in medical research. What stance should be taken when the research results are significant?

Cuando el investigador pide subvención y autorización a entidades financieras para llevar a cabo su proyecto, entre las primeras cuestiones que le plantean está: ¿qué potencia estadística tiene este estudio que usted propone? Si el investigador responde, por ejemplo, el 90%, y el evaluador se da por satisfecho, es seguro que no conoce realmente el tema. La potencia de un estudio no es única. Depende de determinados parámetros y ocurre que, en la mayoría de los casos, variando ligeramente los valores de esos parámetros, la potencia toma un valor aceptable. Si no es así, y a pesar de ello se lleva a cabo el estudio, y sus resultados son muy significativos, no ha lugar a cuestionar el éxito encontrado argumentando que el estudio tenía poca potencia. Tan sólo es momento de celebrarlo. (AU)

When researchers request funding and authorisation from financial institutions to carry out their project, one of the first questions they are asked is: what is the statistical power of the study you are proposing? If the researcher answers, for example, 90%, and the evaluator is satisfied, it is certain that he/she is not really familiar with the subject. The power of a study is not unique. It depends on certain parameters and what happens is that, in most cases, by introducing a slight variation in the values of these parameters, the power takes on an acceptable value. If this is not the case and the study is carried out anyway, and its results are very significant, there is no room to question its success by arguing that the power of the study was very low. It is just the time to celebrate. (AU)

[Statistical power in medical research. What stance should be taken when the research results are significant?] / Potencia estadística en investigación médica. ¿Qué postura tomar cuando los resultados de la investigación son significativos?

When researchers request funding and authorisation from financial institutions to carry out their project, one of the first questions they are asked is: what is the statistical power of the study you are proposing? If the researcher answers, for example, 90%, and the evaluator is satisfied, it is certain that he/she is not really familiar with the subject. The power of a study is not unique. It depends on certain parameters and what happens is that, in most cases, by introducing a slight variation in the values of these parameters, the power takes on an acceptable value. If this is not the case and the study is carried out anyway, and its results are very significant, there is no room to question its success by arguing that the power of the study was very low. It is just the time to celebrate.

TITLE: Potencia estadística en investigación médica. ¿Qué postura tomar cuando los resultados de la investigación son significativos?Cuando el investigador pide subvención y autorización a entidades financieras para llevar a cabo su proyecto, entre las primeras cuestiones que le plantean está: ¿qué potencia estadística tiene este estudio que usted propone? Si el investigador responde, por ejemplo, el 90%, y el evaluador se da por satisfecho, es seguro que no conoce realmente el tema. La potencia de un estudio no es única. Depende de determinados parámetros y ocurre que, en la mayoría de los casos, variando ligeramente los valores de esos parámetros, la potencia toma un valor aceptable. Si no es así, y a pesar de ello se lleva a cabo el estudio, y sus resultados son muy significativos, no ha lugar a cuestionar el éxito encontrado argumentando que el estudio tenía poca potencia. Tan sólo es momento de celebrarlo.

[Myths and reality about calculating sample size]. / Mitos y realidad en el cálculo del tamaño muestral.

When we decide to conduct a study, one of the first questions that arises is what number of individuals should be included in the sample for it to be 'representative' and for the study to be 'valid'? As in other areas of life, there are many matters for which there is no 'right' amount and different quantities are valid. The same applies here. When asked the question 'How many euros did this bicycle cost?', the answer is a definite number. But the question 'How many euros do I need to buy a bicycle?' can be answered in many different ways, depending on the size and other characteristics of the bicycle. Statistics textbooks contain formulas relating sample size to certain parameters and most doctors believe that one of these will give them the 'right' size for their research, and that by using them their choice of sample size will be justified in the eyes of potential reviewers. This document reflects on the true value of these formulas and how researchers should make proper use of them. It is necessary to show errors and simulations that benefit no one and hinder many by taking up large amounts of time and energy.

TITLE: Mitos y realidad en el cálculo del tamaño muestral.Resumen. Cuando decidimos hacer un estudio, una de las primeras cuestiones que se plantea es ¿qué número de individuos debo incluir en la muestra para que sea 'representativa' y el estudio sea 'válido'? Como en otros ámbitos de la vida, hay muchas cuestiones para las que no hay una cantidad 'adecuada' y son válidas diferentes cantidades. Aquí ocurre lo mismo. La pregunta '¿cuántos euros costó esta bicicleta?' tiene como respuesta un número concreto. Pero la pregunta '¿cuántos euros necesito para comprar una bicicleta?' admite muchas cifras distintas como respuesta, dependiendo del tamaño y otras características de la bicicleta. Los libros de estadística contienen fórmulas que relacionan el tamaño de la muestra con ciertos parámetros y la mayoría de los médicos cree que una de ellas les dará el tamaño 'adecuado' para su investigación, y que usándolas queda 'justificado el tamaño de la muestra' ante posibles revisores. En este documento se hace una reflexión sobre el verdadero peso que tienen dichas fórmulas y cuál debe ser el uso adecuado que el investigador haga de ellas. Es necesario mostrar errores y simulaciones que no benefician a nadie y perjudican a muchos restando tiempo y energía.